learning rate(名词,机器学习/深度学习常用):学习率,指训练模型时每次参数更新的步长大小。学习率越大,更新越“猛”,可能更快但更不稳定;学习率越小,更新更“细”,更稳定但可能收敛更慢。(在不同语境中也可指一般意义上的“学习速度”,但最常见的是算法训练中的超参数。)
/ˈlɝːnɪŋ reɪt/
A low learning rate makes training slower but steadier.
较低的学习率会让训练更慢,但更稳定。
If the learning rate is too high, the model may diverge and never reach a good solution.
如果学习率过高,模型可能发散,始终无法得到一个好的解。
learning 源自古英语 leornian(学习、获得知识);rate 源自拉丁语 rata(固定的、计算出的)并在英语中发展为“比率、速率”。两者组合成 learning rate,字面义为“学习的速率”,在现代技术语境中专指优化过程中“参数更新的速率/步长”。